Statistical Lip-Appearance Models Trained Automatically Using Audio Information

We aim at modeling the appearance of the lower face region to assist visual feature extraction for audio-visual speech processing applications. In this paper, we present a neural network based statistical appearance model of the lips which classifies pixels as belonging to the lips, skin, or inner mouth classes. This model requires labeled examples to be trained, and we propose to label images automatically by employing a lip-shape model and a red-hue energy function. To improve the performance of lip-tracking, we propose to use blue marked-up image sequences of the same subject uttering the identical sentences as natural nonmarked-up ones. The easily extracted lip shapes from blue images are then mapped to the natural ones using acoustic information. The lip-shape estimates obtained simplify lip-tracking on the natural images, as they reduce the parameter space dimensionality in the red-hue energy minimization, thus yielding better contour shape and location estimates. We applied the proposed method to a small audio-visual database of three subjects, achieving errors in pixel classification around 6%, compared to 3% for hand-placed contours and 20% for filtered red-hue

The LIUM-AVS database: a corpus to test lip segmentation and speechreading systems in natural conditions

International audienceno abstrac

The LIUM-AVS database: a corpus to test lip segmentation and speechreading systems in natural conditions

We present here a new freely available audio-visual speech database. Contrary to other existing corpora, the LIUM-AVS corpus was recorded in conditions we qualify as natural, which are, according to us, much closer to real application conditions than other databases. This database was recorded without artificial lighting using an analog camcorder in camera mode. Images were stored digitally with no compression to keep the highest possible image quality. The LIUM-AVS database comprises two parts: PBS Phonetically Balanced Sentences in French LET Spelled letters (also in French) These two parts contain sequences with both natural and blue lips. The whole database is released mainly to test and compare lip segmentation approaches on natural images, but speech recognition experiments may also be carried using this corpus. For information on obtaining the LIUM-AVS database, please contact us through our webpage (http://www-lium.univlemans. fr/lium/avs-database)

Comment exploiter une masse de données pour la comparer à des traces qualitatives de l'usage d'un environnement numérique de formation ?

International audienceNotre recherche s’intéresse aux usages d’un environnement numérique de formation (ENF) en ligne par ses utilisateurs cibles (enseignants débutants). Elle s’inscrit du point de vue théorique dans un paradigme enactif de l’activité et de la cognition, considérée comme située et incarnée. Dans cette approche, les usages numériques sont conçus comme des cours d’action (Theureau & Jeffroy, 1994) (i) traçables (moyennant des méthodes de production et/ou de recueil de traces ad hoc) et (ii) donnant lieu à expérience conscientisable et exprimable (moyennant des techniques de remise en situation ad hoc). Dans la contribution résumée ici, nous nous focalisons sur la conceptualisation et l’exploitation du « traçage » des usages, en privilégiant l’angle méthodologique. Notre ambition est de contribuer au développement de méthodologies articulant, sur la base d’hypothèses théoriques partagées sur l’activité et l’apprentissage, des méthodes de recueil et de traitement de données quantitatives et qualitatives. Nous sommes convaincus qu’articuler la compréhension des usages formatifs au niveau local (analyse qualitative à grain fin) et au niveau global (analyse quantitative d’une masse de données) des utilisateurs-cibles d’un ENF (en l’occurrence des professionnels de l’enseignement débutants) est utile pour alimenter l’état des connaissances en « e-formation » des adultes et pour renseigner la conception d’ENF (amélioration de l’ENF existant ou conception de nouveaux ENF)

Comment exploiter une masse de données pour la comparer à des traces qualitatives de l'usage d'un environnement numérique de formation ?

International audienceNotre recherche s’intéresse aux usages d’un environnement numérique de formation (ENF) en ligne par ses utilisateurs cibles (enseignants débutants). Elle s’inscrit du point de vue théorique dans un paradigme enactif de l’activité et de la cognition, considérée comme située et incarnée. Dans cette approche, les usages numériques sont conçus comme des cours d’action (Theureau & Jeffroy, 1994) (i) traçables (moyennant des méthodes de production et/ou de recueil de traces ad hoc) et (ii) donnant lieu à expérience conscientisable et exprimable (moyennant des techniques de remise en situation ad hoc). Dans la contribution résumée ici, nous nous focalisons sur la conceptualisation et l’exploitation du « traçage » des usages, en privilégiant l’angle méthodologique. Notre ambition est de contribuer au développement de méthodologies articulant, sur la base d’hypothèses théoriques partagées sur l’activité et l’apprentissage, des méthodes de recueil et de traitement de données quantitatives et qualitatives. Nous sommes convaincus qu’articuler la compréhension des usages formatifs au niveau local (analyse qualitative à grain fin) et au niveau global (analyse quantitative d’une masse de données) des utilisateurs-cibles d’un ENF (en l’occurrence des professionnels de l’enseignement débutants) est utile pour alimenter l’état des connaissances en « e-formation » des adultes et pour renseigner la conception d’ENF (amélioration de l’ENF existant ou conception de nouveaux ENF)

Un modèle de processus de gestion de profils d'apprenants

National audienceNotre recherche se situe dans le champ des EIAH (Environnements Informatiques pour l'Apprentissage Humain). Nous nous intéressons à la question de la réutilisation et de l'exploitation de profils d'apprenants existants par les différents acteurs de la situation d'apprentissage, enseignant, apprenant, famille, institution ou chercheurs. Nous présentons dans cet article les difficultés liées à la réutilisation de profils hétérogènes en terme de structure ou de contenu. Nous proposons un modèle de processus de gestion de profils d'apprenants permettant de lever ces difficultés, le modèle REPro. Nous présentons sa mise en ½uvre dans un environnement informatique opérationnel, ainsi que les résultats des expérimentations réalisées

Anagraph

La plateforme Anagraph a été conçue pour calculer la part déchiffrable des textes utilisés comme supports d’enseignement de la lecture, autrement dit le pourcentage de graphèmes explicitement étudiés en classe. Elle permet d’accéder à la liste, au nombre et à la valeur des graphèmes contenus dans les textes. Les professeurs peuvent ainsi effectuer des choix didactiques éclairés

A model of learners profiles management process

International audienceOur research concerns teaching assistant systems. It deals with the question of reuse and exploitation of learners profiles by the different actors of the learning situation; teacher, learner, families, institution or scientist. This paper first describes the difficulties linked to the reuse of heterogeneous existing learners profiles. Then, REPro, a learners profiles management model is proposed. The deployment of this process within a computerized environment is presented as well as the results of first experiments